由于免费的在线百科全书具有大量内容，因此Wikipedia和Wikidata是许多自然语言处理（NLP）任务的关键，例如信息检索，知识基础构建，机器翻译，文本分类和文本摘要。在本文中，我们介绍了Wikides，这是一个新颖的数据集，用于为文本摘要问题提供Wikipedia文章的简短描述。该数据集由6987个主题上的80K英语样本组成。我们设置了一种两阶段的摘要方法 - 描述生成（I阶段）和候选排名（II阶段）作为一种依赖于转移和对比学习的强大方法。对于描述生成，与其他小规模的预训练模型相比，T5和BART表现出了优越性。通过将对比度学习与Beam Search的不同输入一起应用，基于度量的排名模型优于直接描述生成模型，在主题独立拆分和独立于主题的独立拆分中，最高可达22个胭脂。此外，第II期中的结果描述得到了人类评估的支持，其中45.33％以上，而I阶段的23.66％则支持针对黄金描述。在情感分析方面，生成的描述无法有效地从段落中捕获所有情感极性，同时从黄金描述中更好地完成此任务。自动产生的新描述减少了人类为创建它们的努力，并丰富了基于Wikidata的知识图。我们的论文对Wikipedia和Wikidata产生了实际影响，因为有成千上万的描述。最后，我们预计Wikides将成为从短段落中捕获显着信息的相关作品的有用数据集。策划的数据集可公开可用：https：//github.com/declare-lab/wikides。
translated by 谷歌翻译
本文提出了一种简单但有效的基于插值的数据增强方法，称为Doublemix，以改善模型在文本分类中的鲁棒性。 Doublemix首先利用几个简单的增强操作来为每个培训数据生成几个扰动的样本，然后使用扰动的数据和原始数据在神经模型的隐藏空间中进行两步插值。具体而言，它首先将扰动的数据混合到合成样本中，然后混合原始数据和合成的扰动数据。 Doublemix通过学习隐藏空间中的“转移”功能来增强模型的鲁棒性。在六个文本分类基准数据集上，我们的方法优于几种流行的文本增强方法，包括令牌级别，句子级别和隐藏级数据增强技术。此外，低资源设置中的实验表明，当培训数据稀缺时，我们的方法一致地改善了模型的性能。广泛的消融研究和案例研究证实，我们方法的每个组成部分都有助于最终表现，并表明我们的方法在具有挑战性的反例中表现出卓越的表现。此外，视觉分析表明，我们方法生成的文本特征是高度可解释的。我们的本文代码可以在https://github.com/declare-lab/doublemix.git上找到。
translated by 谷歌翻译
随着电子商务的繁荣，旨在按照预测的有用性分数对产品评论进行分类的多模式审查帮助预测（MRHP）已成为研究热点。此任务的先前工作集中于基于注意力的模态融合，信息集成和关系建模，该模型主要暴露了以下缺点：1）由于其不加区分的注意公式，该模型可能无法捕获真正的基本信息； 2）缺乏适当的建模方法，可以充分利用提供的数据之间的相关性。在本文中，我们提出了SANCL：MRHP的选择性关注和自然对比学习。 SANCL采用基于探测的策略来对更大意义的区域进行高度注意权重。它还基于数据集中的自然匹配属性构建了对比度学习框架。两个基准数据集的实验结果（三个类别）表明，SANCL在记忆消耗较低的情况下实现了最先进的基线性能。
translated by 谷歌翻译
2021-10-06
我们提出了一种新的方法，即使用最佳运输（结）的知识蒸馏，以将自然语言知识从多个教师网络提炼到学生网络。结的旨在通过学习将标签上指定概率分配的最佳运输成本最小化，以培训（全球）学生模型，以在（本地）教师模型（在学生模型的限制下）预测的加权总和。无法访问教师模型的参数或培训数据。为了评估知识转移的质量，我们引入了一个新的度量，语义距离（SD），该指标衡量了预测的真相标签分布之间的语义亲密关系。所提出的方法显示了在三个NLP任务上，在基准的基线方面，在基于熵的蒸馏方面对标准精度和F1指标进行表现，在基线上的SD性能有所改善。与这项工作有关的实现可公开可用：https：//github.com/declare-lab/knot。
translated by 谷歌翻译
精确预测物理交互结果是人类智能的关键组成部分，对于真实世界中的机器人安全和有效地部署是重要的。虽然存在基于视觉的直观物理模型，用于学习预测物理交互结果，而它们主要专注于根据从视觉输入或潜在空间提取的物理性质（例如质量，摩擦和速度）产生未来框架的短序列。然而，缺乏直观的物理模型，这些模型是在具有不同对象之间的多个交互的长物理相互作用序列上进行测试。我们假设在近似精神模拟期间的选择性时间关注有助于人类在物理相互作用结果预测中。通过这些动机，我们提出了一种新颖的方案：通过用跨度选择（PIP）通过精神模拟物理交互预测。它利用深度生成模型来模拟近似精神模拟，通过在采用跨度选择的形式以预测物理交互结果的形式中采用选择性的时间关注之前产生近似的物理相互作用。为了评估我们的模型，我们进一步提出了具有3D环境中的三个主要物理交互的长序列的大规模空间+数据集。我们的实验表明，PIP优于利用精神模拟的人类，基线和相关直观的物理模型。此外，PIP的跨度选择模块有效地识别指示对象之间的关键物理交互的帧，允许添加额外的解释性。
translated by 谷歌翻译
在多模式情绪分析（MSA）中，模型的性能高度取决于合成嵌入的质量。这些嵌入来自称为多模式融合的上游进程，旨在提取并结合输入的单向原始数据以产生更丰富的多峰表示。以前的工作要么返回传播任务丢失或操纵要素空间的几何属性，以产生有利的融合结果，它忽略了从输入到融合结果的关键任务相关信息的保存。在这项工作中，我们提出了一个名为多模式InfoMax（MMIM）的框架，该框架是分层地最大化单向输入对（互别级别）的互信息（MI），以及多模式融合结果和单向输入之间以便通过多模式融合。该框架与主要任务（MSA）共同培训，以提高下游MSA任务的性能。为了解决MI界限的棘手问题，我们进一步制定了一组计算简单的参数和非参数方法来近似于其真实值。两个广泛使用的数据集上的实验结果表明了我们的方法的功效。此工作的实施是公开可用的，在https://github.com/declare-lab/multimodal-infomax上。
translated by 谷歌翻译
生态瞬间评估（EMAS）是用于测量移动卫生（MHECHEATH）研究和治疗方案的当前认知状态，影响，行为和环境因素的重要心理数据源。非反应，其中参与者未能响应EMA提示，是一个地方问题。准确预测非响应的能力可用于改善EMA交付和发展顺应性干预。事先工作已经探索了古典机器学习模型，以预测非反应。然而，正如越来越大的EMA数据集可用，有可能利用在其他领域有效的深度学习模型。最近，变压器模型在NLP和其他域中显示了最先进的性能。这项工作是第一个探索用于EMA数据分析的变压器的使用。我们在将变压器应用于EMA数据时解决了三个关键问题：1。输入表示，2.编码时间信息，3.预先培训提高下游预测任务性能的效用。变压器模型实现了0.77的非响应预测AUC，并且明显优于古典ML和基于LSTM的深度学习模型。我们将使我们的一个预测模型在研究界可自由地提供40k EMA样品的核查，以便于开发未来的基于变压器的EMA分析工作。
translated by 谷歌翻译